Grundlagen Generative Sprachmodelle und ihr Einsatz

Jonas Stettner | CorrelAid @ CDL

2025-04-15

KI Begriff: Intelligenz 🤖

“[I]ntelligent” according to what definition? The three-stratum definition? Howard Gardner’s theory of multiple intelligences? The Stanford-Binet Intelligence Scale? Bender remains particularly fond of an alternative name for AI proposed by a former member of the Italian Parliament: “Systematic Approaches to Learning Algorithms and Machine Inferences.” Then people would be out here asking, “Is this SALAMI intelligent? Can this SALAMI write a novel? Does this SALAMI deserve human rights? (Weil, 2023)

KI Begriff: Definiton

Systeme der Künstlichen Intelligenz sind in der Lage, Daten und Informationen auf eine Weise zu verarbeiten, die menschlichen Denkprozessen ähnelt oder diese nachzuahmen scheint. Dies beinhaltet Aspekte des Denkens und Lernens, der Wahrnehmung, Vorhersage, Planung oder Steuerung (Deutsche UNESCO-Kommission et al., 2023, S. 8)

Einordnung

Neuronale Netzwerke

Glosser.ca, CC BY-SA 3.0 https://creativecommons.org/licenses/by-sa/3.0, via Wikimedia Commons

Sprachmodelle

Training

Source: Holistic AI, https://www.holisticai.com/blog/from-transformer-architecture-to-prompt-engineering

Große Sprachmodelle

Stochastic Parrots 🦜

RAG

RAG: Quellenangabe

  • Quellenangabe ist regulärer Teil des Outputs des LLMs
  • LLM bekommt neben des Ergebnissen des Suchschritts auch Meta-Informationen, wie z.B. Seitenzahlen
  • Ausgabe wird formatiert, sodass Quellenangaben z.B. als hochgestellte Zahl erscheinen

Agents

Informationszuganssysteme

Literaturverzeichnis

Deutsche UNESCO-Kommission, Niederländische UNESCO-Nationalkommission, & Slowenische UNESCO-Nationalkommission. (2023). Zusammenfassung der UNESCO-Empfehlung zur Ethik der Künstlichen Intelligenz: Wegweiser für die Gestaltung unserer Zukunft (M. M. Anne Diessner Jeannine Hausmann, Ed.; A. Diessner, Trans.). Deutsche UNESCO-Kommission e. V. https://www.unesco.de/dokumente-und-hintergruende/publikationen/detail/die-unesco-empfehlung-zur-ethik-der-kuenstlichen-intelligenz/
Jurafsky, D., & Martin, J. H. (2025). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models (3rd ed.). https://web.stanford.edu/~jurafsky/slp3/
Weil, E. (2023). ChatGPT Is Nothing Like a Human, Says Linguist Emily Bender. New York Magazine: Intelligencer. https://nymag.com/intelligencer/article/ai-artificial-intelligence-chatbots-emily-m-bender.html